Anh sinh năm 1924, quê ở thôn Dược Khê, xã Nông Trường, huyện Nông Cống (nay thuộc huyện Triệu Sơn), tỉnh Thanh Hóa. Trang thông tin của họ Tô Việt Nam cho biết anh thuộc đời thứ 15, phân ngành 2, chi 4 họ Tô làng Bao Hàm, huyện Thái Thụy, tỉnh Thái Bình.

Tổ 5 đời của Tô Vĩnh Diện là ông Tô Phúc Chân đưa cả gia đình vào định cư và lập nghiệp ở Nông Cống. Cha anh là cụ Tô Uy, một bần nông trong làng. Anh là con trai lớn của cụ Tô. Do gia đình nghèo, cuộc sống khó khăn, từ năm 8 tuổi, anh đã phải đi ở, lớn lên làm tá điền cho nhà địa chủ ở làng bên.